Augmented Reality in der Hafenlogistik

In diesem Projekt wurde ein Augmented Reality (AR) System für die Hafenlogistik entwickelt. Das Ziel des Systems ist es, Container durch Objekterkennung zu identifizieren und relevante Informationen wie Container-Nummer (BIC), Gewicht und Kapazität auszulesen. Durch den Einsatz von Computer Vision und Deep Learning wurde eine automatisierte Lösung entwickelt, die den Prozess der Containeridentifikation und -klassifikation erheblich verbessert.

Prozess: Identifikation von Containern #

Die Containeridentifikation erfolgt durch eine Kombination von Objekterkennung und Optical Character Recognition (OCR). Zunächst werden die relevanten Schriftbereiche auf den Containern erkannt, die Informationen wie die Container-Nummer, das Gewicht und die Kapazität enthalten. Anschließend werden diese Schriftbereiche mittels OCR analysiert, um die enthaltenen Informationen zu extrahieren.

Technologischer Aufbau #

1. Objekterkennung mit YOLO #

Zur Erkennung der relevanten Containerbereiche wurde das YOLO (You Only Look Once) Modell verwendet. Dieses Modell wurde auf Bilddaten trainiert, um spezifische Regionen auf den Containern zu identifizieren, die Informationen wie Container-Nummer, Gewicht und Kapazität enthalten.

Das Modell ermöglicht es, die Schriftbereiche auf den Containern effizient zu lokalisieren und in Echtzeit zu verarbeiten, was ideal für den Einsatz in einer AR-Umgebung ist.

2. Synthetic Data Generation #

Um das YOLO-Modell effizient zu trainieren, wurden synthetische Daten generiert. Hierfür wurde Blender verwendet, um realistische Bilder von Containern zu erstellen, die unter verschiedenen Bedingungen gerendert wurden. Diese synthetischen Daten halfen dabei, den Datensatz zu erweitern und das Modell auf unterschiedliche Szenarien wie Lichtverhältnisse, Winkel und Containerzustände vorzubereiten. Dabei wurden verschiedene Datenvorverarbeitungsschritte angewendet, um die Qualität und Varianz der Trainingsdaten zu verbessern. Image Manipulation und Augmentation wurde als Teil der Datenvorverarbeitung genutzt, um die Bilder künstlich zu verändern, z.B. durch Rotation, Skalierung und Farbmanipulation. Dies ermöglichte, dass das Modell robuster gegen verschiedene Bedingungen wurde. Die anschließende Kombination der synthetischen mit realen Daten erlaubte es eine sehr gute Detektionsrate zu erreichen.

3. OCR zur Textextraktion #

Nachdem die relevanten Bereiche auf den Containern erkannt wurden, wurde Optical Character Recognition (OCR) eingesetzt, um den Text aus den erkannten Regionen zu extrahieren. Dieser Schritt ermöglichte es, die Container-Nummer, das Gewicht und die Kapazität automatisch zu erfassen und an das AR-System weiterzugeben. Zur Vorbereitung der OCR mussten auch hier die Bildausschnitte manipuliert werden, um die OCR-Erkennung zu verbessern. Neben klassischen OCR Algorithmen wurden auch Deep-Learning Modelle evaluiert.

Herausforderungen #

Eine Herausforderung in der Entwicklung war der Zustand der Container, besonders der oft verblasste oder verschmutzte Schriftzug. Zur Verbesserung der OCR-Erkennungsleistung war es nötig robuste Vorverarbeitungsalgorithmen zu entwickeln, welche beispielsweise den Kontrastwert stark verbesserte.

Fazit #

Das entwickelte AR-System ermöglicht eine automatisierte und effiziente Containeridentifikation in der Hafenlogistik. Durch die Kombination von Computer Vision, Objekterkennung, OCR und synthetischer Datengenerierung wurde eine robuste und skalierbare Lösung geschaffen, die den Logistikprozess im Hafen erheblich optimiert.

Tätigkeiten #

• Implementierung eines Objekterkenners mit YOLOv3 zur Detektion von BIC-Codes und Container-Siegel in Bildern von Containern
• Generierung eines synthetischen Datensatzes mit diversen BIC-Codes und Container-Siegeln mittels Blender
• Durchführung diverser KI-Experimente und Modell-Trainings zur Identifizierung guter KI-Modelle
• Entwicklung von Algorithmen zur Optimierung der OCR-Erkennung